Chùa được cư sĩ Lý Thụy Long, người Minh Hương, quyên tiền xây dựng vào mùa xuân năm Giáp Tý (1744) đời chúa Nguyễn Phúc Khoát. Ban đầu chùa có tên là Sơn Can (sơn là núi, cang là gò nông), về sau còn được gọi là Cẩm Sơn do chùa tọa lạc trên gò Cẩm Sơn. Ngoài ra, chùa còn có tên là Cẩm Đệm vì cư sĩ Thụy Long có tên riêng là Cẩm, chuyên nghề đan đệm bán, người địa phương gọi là ông Cẩm Đệm [3].

Từ năm 1744 đến năm 1774, chưa rõ có vị tăng sĩ nào đến trụ trì chùa hay không, vì thiếu tài liệu [4]. Chỉ biết vào năm 1774, Thiền sư Phật Ý-Linh Nhạc (trụ trì chùa Từ Ân) đã cử đệ tử của mình là Thiền sư Tổ Tông-Viên Quang (gọi tắt là Viên Quang) về trụ trì chùa, đồng thời đổi tên chùa thành Giác Lâm.

Dưới thời thiền sư Viên Quang, chùa Giác Lâm trở thành một trung tâm đào tạo về kinh điển, giới luật đầu tiên cho chư tăng ở Gia Định và cả Nam Bộ. Đến năm 1873, dưới sự trụ trì của Thiền sư Minh Khiêm, chùa còn là nơi in ấn, sao chép kinh sách, khắc bản gỗ kinh, luật và diễn Nôm một số sách Phật giáo.

Danh sĩ Trịnh Hoài Đức trong quyển Gia Định thành thông chí đã miêu tả cảnh chùa lúc bấy giờ như sau: "Chùa tọa lạc trên gò Cẩm Sơn, cách phía Tây lũy Bán Bích ba dặm..., cây cao như rừng, hoa nở tựa gấm, sáng chiều mây khói nổi bay quanh quất, địa thế tuy nhỏ mà nhã thú!"...